目录

创建Tensor

Tensor的shape

tensor数据类型

PyTorch tensor的数学和逻辑运算

Tensor Broadcasting广播

复制tensor

改变维数

和Numpy的转换

Tensor是PyTorch中心的数据抽象，本文深度详细介绍PyTorch的torch.Tensor类。包括创建Tensor的方法，Tensor的shape属性，tensor的数据类型和数学运算，tensor的广播机制，克隆tensor，改变tensor的维数，将tensor转换维Numpy的ndarray以及将ndarray转为为tensor。

使用torch模块的工厂函数torch.empty()创建一个tensor，该tensor是2维，有3行4列。返回的对象类型是torch.Tensor，是torch.FloatTensor的别名。默认情况下PyTorch tensor是32bit的浮点数。你可能会看到打印的tensor是像随机数的值，这是因为torch.empty为tensor调用内存分配，但是并没有初始化其值，你看到的是在分配内存时的值。

1维的tensor叫做向量vector，2维的tensor叫做矩阵matrix，高于两维一般称其为tensor

更多情况下，你想用一些值来初始化tensor，通常情况下将初始化为全0，全1或者随机值。torch模块为这些初始化提供了工厂函数：

torch.manual_seed()用于手动设置随机数生成器的种子，保证使用torch模块随机数工厂函数torch.rand()的代码的可再现性

输出：

最后一种创建tensor的方法：

我们经常对两个或者多个tensor执行操作，这些tensor需要是相同的shape，也就是有相同的维数，并且在各个维度上的cells数目相同，我们可以使用torch.*_liek()方法，比如torch.empty_like()，torch.zeros_like(), torch.ones_like(),toch.rand_like()

通过在torch的工厂函数输入参数中指定dtype的值，给创建的tensor指定数据类型，默认的数据类型是torch.float（32位浮点），常见的数据类型如下 Available data types include:

输出：

一般情况下进行算术运算的tensor的shape必须相同，但是有一种例外情况是tensor的广播。

输出：

输出：

tensor的大多数二元操作将返回第三个新的tensor，例如，c = a * b，a和b是两个tensor，新的tensor c将占据不同与a和b的内存区域。 有时候，当你做元素操作时希望丢弃中间结果，可以使用单下划线_的函数版本，可就地改变tensor。

输出：

需要注意的是in-place算术函数是torch.Tensor对象的方法，而不是想许多其他函数一样附加在torch模块。

与Python中的任何对象一样，将tensor赋值给变量，会使变量是tensor的标签，而不是拷贝它。 当需要分开拷贝数据时，可以使用clone()方法。

在许多情况下，如果你的模型在forward()方法中有多种计算路径。并且原始的tensor和克隆的tensor都对模型的输出有贡献，为了使能模型学习，你希望autograd在这两种tensor上开启。如果原始tensor的autograd开启了，你将得到你所希望的结果。 另一方面，如果在做计算时，原始tensor和克隆的tensor都不需要跟踪梯度，只要原始tensor的autograd没有开启，你将得到你所希望的结果。 第三种情况是，设想你在模型的forward()函数中执行计算，梯度是默认开启的，你想拉一些中间值去生成新的特性，这种情况下，你不想克原始tensor的克隆拷贝跟踪梯度--当autograd的历史跟踪关闭时性能将提高。这种情况下，可以在原始tensor上使用.detech()方法

输出：

有时候我们需要改变维数，例如传递单个输入实例到模型。Pytorch模型通常期望是batch的输入。假设你的模型处理3x226x226的图像（3个颜色通道，226x226的尺寸）,输入的tensor的shape是（3，226，226），但是模型期望的输入是(N,3,226,226),N表示一个batch的图像数目，如果将输入转换为包含一个图像的batch呢？

输出：

还可以使用squeeze()将batch转换为non-batch计算

输出：

可以看到使用squeeze()后，2维的tensor变成了1维的tensor，a的外层比b多一个方括号[]

squeeze()只能是改变宽度为1的维，当在c中尺寸是2的维上使用squeeze()时，并不会有任何改变。

有时候希望彻底改变tensor的形状，但保留其元素和内容不变。 出现这种需求的一种情况是在卷积层和线性层的接口，通常发生在图像分类模型。一个卷积核产生的tensor的形状是特征图的个数宽度高度，但是紧接着的线性层希望一维的输入。reshape()将为你做这一工作。

输出：

reshape()执行成功以后会返回tensor的一个改变的视图view，但底层的内存区域保持不变。这意味着对原来tensor的任何改变都会反映在这个tensor的视图上，除非使用clone()方法。

当你有已经存在使用Numpy的ndarray存储的数据的机器学习或者科学的代码，你希望将这些数据表示成PyTorch tensor，利用PyTorch的GPU加速或者它用于构建机器学习模型的高效抽象能力。可以很容的在ndarray和PyTorch tensor直接切换。使用torch.from_numpy()可以将numpy ndarray转换为tensor，使用torch.numpy()可以将tensor转换为numpy ndarray。但是tensor和numpy ndarray使用同样的内存，除非使用clone()函数。